在线约会中对话AI代理的双向接受度：Fledge.Love双语调查数据集
🧭 对话式AI Agent 用户态度数据集
Fleamily, Inc., Delaware, USA · Lucy Family Institute for Data & Society, University of Notre Dame, Notre Dame, Indiana, USA
发布两个双语调查数据集，分离用户对部署自身代理与遭遇他人代理的接受度及对生成式AI功能的兴趣
📌 工作参考价值（4 点）
- 调查设计将用户角色拆分为“代理部署方”和“代理遭遇方”，电商/客服场景中评估用户对 Agent 的态度时也应分开测量，避免混淆部署意愿与接受接触意愿。
- 数据集发布流水线包含 k-anonymity 审计和双语 codebook，可复用为内部用户研究数据匿名化与文档规范，尤其适合跨境多语言产品的用户调研。
- 对被动生成式 AI 功能（如自动摘要、消息建议）的兴趣测量，可直接迁移到电商详情页生成、客服话术建议等功能的 pre-launch 接受度调研。
- 该数据集本身不涉及推荐算法，但可作为用户对生成式推荐解释或对话式购物助手态度的先验参考；若做类似用户研究，可借鉴其量表结构。
超越最后一条消息：衡量对话内上下文对AI回答的影响
🧭 对话式AI评估中查询单元的重新定义
Aiso, Tel Aviv, Israel
实验证明忽略对话前置上下文会导致44.7%的回答发生实质性变化，压缩前缀仅部分弥补
📌 工作参考价值（4 点）
- 评估对话式推荐/客服Agent时，必须携带完整对话历史，否则近半数回答会实质性变化，导致离线指标不可靠
- 生产环境A/B测试或日志复盘，应将整个session作为query单元，而非单条最终消息，以准确反映模型是否满足用户需求
- 出于成本考虑，可压缩对话前缀至160词，将实质性差异率从44.7%降至30.8%，但仍有约1/3的回答受影响，需权衡性价比
- 构建对话评价数据集时，标注需基于完整上下文，仅看最后消息可能错误估计模型能力
从提示到购买：AI品牌推荐如何驱动消费者在开放网络上的行为
🧭 测量和归因 ★ 深度解读
Scrunch AI
会话助手推荐品牌后，用户同名搜索量上升+4.3pp，访问品牌自身站点+2.4pp，品牌特定零售商页面访问量+1.0pp。
📌 工作参考价值（4 点）
- 非归因曝光的增量测量：大多数助手推荐不留 referrer，可借鉴本文的 opt-in 点击流-对话面板方法，将曝光与下游行为关联，利用事件研究和向后安慰剂窗口计算真实增量，适合电商评估生成式推荐或客服机器人的隐形影响力。
- 区分推荐与提及的业务价值：业务中助手提及品牌可能是用户已有行为导致（如“我的 Netflix 下载”），这种提及基本没有增量。可通过姿态分类器和预趋势排除，聚焦真正推荐动作，优化推荐策略时避免高估无效曝光的价值。
- 搜索中介效应与归因修正：AI 推荐主要经“搜索”中介流向官网和零售商，而非直接点击链出。业务中需要将模型推荐-搜索-访问的链条纳入多触点归因，否则会误归因给搜索和直接渠道。
- 品类异质性与独立表面分析：不同品类下游路径差异大（如美妆流向零售商，服饰下游较弱），应分品类测量；助手之间的效果差距主要由用户群构成决定，而非界面本身，因此测量助手价值时需控制用户自我选择偏移，不可直接对比原始指标。
T1-Bench：面向多域真实对话代理的工具调用高保真基准
🧭 多领域多轮工具调用Agent评估基准 ★ 深度解读
Capital One
构建覆盖25个领域、76个工具的自动评估基准，揭示LLM代理在多轮跨域场景下的工具调用短板与一致性挑战
📌 工作参考价值（4 点）
- 对电商客服Agent离线评估可借鉴双代理角色扮演：用户代理按策略生成自然对话，助理代理调用工具，自动生成轨迹并复用，大幅降低人工成本。
- 工具调用评估需分层：工具选择、参数提取、输出精确匹配三级，同时使用Pass@K/Pass^K衡量可靠性与一致性；尤其推荐Pass^K捕获单次成功但不可复现的模型。
- 多域切换时性能坍塌严重（4域以上几乎归零），提示实用系统必须强化上下文保持与状态追踪，可引入论文中的Memory Module缓存工具结果，避免重复调用。
- 工具数量是主要难度源之一（如Food & Dining 15工具），可考虑层次化工具选择或分阶段推理，先按意图聚类再在子域内调用，缓解动作空间爆炸。
ThoughtTrace：真实LLM对话中的用户思维数据集
🧭 用户思维采集与对齐 · 用户行为预测 ★ 深度解读
Johns Hopkins University · Massachusetts Institute of Technology · Google Research
首个大规模用户思维数据集，揭示对话中未言明的意图与反应，并展示其在行为预测与模型对齐中的价值。
📌 工作参考价值（4 点）
- 电商对话推荐：采集用户未显式表达的任务动机、内容/风格期望等‘理由’，构建用户意图特征，提升对话式推荐中自然语言理解的深度。
- Agent对齐：用户对助手回复的‘反应’（如内容相关性、呈现风格不满）可直接作为细粒度偏好信号，用于DPO/RLHF训练，比从后续消息推断偏好更准确、更密集。
- 用户模拟器：训练模型同时预测下一轮消息及对应的思考（理由+反应），生成更贴近真实用户认知过程的模拟对话，用于离线评估和强化学习环境。
- 工程落地：若业务场景允许，可在交互后收集用户事后标注的‘当时想法’，作为高价值训练信号；即使非侵入式，也可将点击、停留时长等作为思考的弱代理变量。
PreScam：从早期对话预测诈骗进程的基准
🧭 诈骗会话进程建模与心理动作预测
University of Notre Dame · Arizona State University
首个面向多轮会话诈骗生命周期建模的基准，揭示FLM在追踪风险升级和操纵演化上的明显不足
📌 工作参考价值（4 点）
- 诈骗杀链（Scam Kill Chain）的阶段定义可直接迁移到电商交易欺诈、杀猪盘等场景，为对话流构建结构化标签，分阶段建模风险升级。
- 诈骗者心理动作（如建立信任、制造紧迫感）的标注框架可用于电商客服或直播带货场景，检测恶意操纵话术，保护用户。
- 实时终止预测任务启发业务中的实时欺诈干预模型，基于早期对话片段预测是否逼近欺诈终点，可减少反应延迟。
- 有监督编码器（如RoBERTa）大幅优于零样本LLM的结果表明，真实复杂对话的欺诈检测需要领域微调，业务中应优先训练专用小模型，而非直接依赖通用大模型。